Sau khi Liên Xô tan rã, Kovalev trở lại hoạt động chính trị chính thức. Tháng giêng năm 1991, ông là đồng tác giả của Bản tuyên ngôn Nhân quyền và quyền dân sự ở Nga (Declaration of Human and Civil Rights in Russia) và là người đóng góp chủ yếu vào Điều 2 (Rights and Liberties of Man and Citizen) của Hiến pháp Liên bang Nga.

Từ 1990 tới 1993, ông được bầu làm đại biểu nhân dân của Liên bang Nga, và là thành viên của đoàn chủ tịch Hội đồng tối cao Liên bang Nga (Supreme Council of the Russian Federation). Ông làm trưởng Ủy ban Nhân quyền của tổng thống và Ủy viên Nhân quyền của nghị viện Nga, Duma Quốc gia.

Từ năm 1993 tới 2003 Kovalev là nghị sĩ của Duma Quốc gia Nga. Từ năm 1996 tới 2003 ông cũng là thành viên của phái đoàn Nga tham dự Hội nghị nghị viện của Ủy ban châu Âu và là thành viên của ủy ban hội nghị về các vấn đề luật pháp và nhân quyền.

Năm 1993, ông đồng sáng lập phong trào chính trị - sau này trở thành đảng - Choice of Russia (Выбор России), sau này đặt tên lại là Democratic Choice of Russia (Демократический выбор России).

Từ năm 1994, Kovalev – lúc đó là cố vấn nhân quyền của Boris Yeltsin – đã công khai chống đối việc can thiệp quân sự của Nga vào Chechenskaya, hợp tác với quân nổi dậy và thúc giục binh sĩ Nga từ bỏ (sự can thiệp này). Từ Grozny, ông đã đích thân chứng kiến và tường thuật các sự thật của Chiến tranh Chechnya lần thứ I. Các bài tường thuật hàng ngày của ông qua điện thoại và trên TV đã khích động dư luận công chúng Nga chống đối chiến tranh. Vì hoạt động chống đối, ông đã bị bãi nhiệm chức nghị sĩ ở Duma năm 1995.[2]

Kovalev đã là một người chỉ trích thẳng thừng các khuynh hướng độc đoán trong chính quyền của Boris Yeltsin và Vladimir Putin. Năm 1996, ông từ chức trưởng ủy ban nhân quyền của tổng thống Yeltsin, và đăng một thư ngỏ gửi Yeltsin, trong đó Kovalyov cáo buộc tổng thống đã từ bỏ các nguyên tắc dân chủ. Năm 2002, ông tổ chức một ủy ban công cộng để điều tra vụ đặt bom khủng bố khối nhà chung cư ở Moskva năm 1999 (ủy ban Kovalev[3]), nhưng đã bị làm cho tê liệt sau khi một ủy viên của ủy ban là Sergei Yushenkov bị ám sát,[4][5], một ủy viên khác là Yuri Shchekochikhin được cho là bị đầu độc bằng thallium,[6][7] và nhà điều tra kiêm luật sư hợp pháp của ủy ban là Mikhail Trepashkin bị bắt giam.[8][9]